iT邦幫忙

1

(28)Python的基礎介紹和爬蟲

python
409261275 2022-10-16 13:47:17 ‧ 865 瀏覽

  • 分享至 

  • xImage
    •  

Python網路爬蟲WebCrawler-AJAX,XHR網站技術分析實務(下)

接下是實際程式操作的範例

我們使用medium網站來當作練習
網址:https://medium.com/

如何分辨網頁是使用哪種方式運作

我們使用PTT電影版做對比，可以發現他的標題就在她的網頁原始碼之中
https://ithelp.ithome.com.tw/upload/images/20221016/20152724WjAB0Lddpj.png

但是我們在medium網站中可以發現,它的標題並不再她的網頁原始碼之中
https://ithelp.ithome.com.tw/upload/images/20221016/20152724rE3teka28r.png

所以我們可以發現medium網站是ajax的形式

在網站開發人員工具中點選 XHR 可以發現他傳送的資料
https://ithelp.ithome.com.tw/upload/images/20221016/20152724zq5jNFCm3X.png

我們可以發現這才是資料真正的網址
https://ithelp.ithome.com.tw/upload/images/20221016/20152724VZQrQMpLIw.png

將剛剛得到的網址寫入到我們的程式
https://ithelp.ithome.com.tw/upload/images/20221016/20152724UTOFjbyqee.png

我們也可以取得網頁中所有的標題
https://ithelp.ithome.com.tw/upload/images/20221016/20152724ofFhZhmeFL.png

參考來源:https://www.youtube.com/watch?v=IMOUf4BYTG8&list=PL-g0fdC5RMboYEyt6QS2iLb_1m7QcgfHk&index=21


圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22195 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙